- 大模型微调方案设计和能力整合
在构建大型模型应用时,技术架构的规划至关重要。整体架构可被划分为四个层次:基础设施层、模型工具层、模型引擎层及大模型应用层。基础设施层:涵盖了数据服务、云平台及开源社区等多个方面,为应用开发提供坚实的基础。
陶然 · 2024-07-08 11:12 - Instagram如何扩展支撑25亿用户的基础架构?
本文概述Instagram如何扩展其基础设施,主要基于笔者研究,可能与实际实践情况有所差异。从前,两位斯坦福大学毕业生决定制作一款实现位置签到功能的应用程序。然而,他们注意到,该应用中使用最频繁的功能是“照片共享”,所以他们转而创建了一款照片分享应用,并将其命名为Instagram。
陶然 · 2024-07-08 09:55 - 干货 | 携程门票秒杀系统的设计与实践
本文总结了携程门票的预订交易系统在承接秒杀活动中面临的挑战与应对策略。重点解决了读热点、写瓶颈、强事务、流量控制等诸多细节问题,同时通过日常的架构健康度治理和制定专项的保障计划,持续对系统进行优化,确保系统在高负载下依然能够稳定运行,实现系统的持续高可用。
陶然 · 2024-07-05 17:08 - 转转搭建平台——魔方数据中心实战分享
魔方是转转内部的可视化搭建平台,用于快速创建活动页面。然而,尽管平台相对稳定,却缺乏一个集中的数据中心来全面查看各项数据指标,给运营团队带来了一些挑战。
陶然 · 2024-07-05 16:34 - 华为发布园区网络“光进铜退”先锋行动,将投5000万元营销资源与新老伙伴共赢未来
华为正式发布园区网络“光进铜退”先锋行动。随着Wi-Fi 7时代加速到来,园区网络“光进铜退”势在必行,全光园区正成为数智园区新标配,每年将有超百亿的市场新商机涌现。为此,华为不仅推出了F5G全光园区2.0解决方案,更将投入5000万元营销资源,全方位支持伙伴抓住园区网络“光进铜退”大机遇,共赢园区数智新未来。
陶然 · 2024-07-05 16:16 - 货拉拉指标库概述及应用场景实践分享
货拉拉是一家专注于货运行业的科技公司,主要业务是提供在线货运服务,包括同城/跨城货运、企业版物流搬家、零担等。货拉拉每天需要处理大量的业务数据,以便更好地理解用户需求,优化服务,提高运营效率。
陶然 · 2024-07-05 00:02 - 全年宕机仅18秒!金融业异构交易系统建设实践
近年来,在全球经济复苏疲软叠加疫情冲击的背景下,全球交易所核心系统稳定性面临较大考验,软件故障频发。针对软件缺陷类故障无有效应对方式的现状,中国金融期货交易所自主设计研发打造了异构交易系统,该系统是一套软件架构与主交易相异的容错备系统...
陶然 · 2024-07-04 23:47 - 解密Lego:客户端日志系统的演进
埋点对于移动应用来说至关重要,无论是赋能业务增长,还是优化技术实现,埋点数据和技术日志都为决策和优化提供了关键依据。转转App也有着一套自研的日志采集系统(Lego),从2015年转转App上线第一个版本到现在,Lego逐步从一个单一功能架构演变为支持自动化采集、实时上报、业务与技术日志隔离的复合架构。
陶然 · 2024-07-03 14:08 - 基于Freetype的文字渲染流程以及缓存策略
OpenGL 对于文字的绘制以及字体的操纵提供了低层次的支持,即位图字体。每个字形根据他们的编号被放到位图字体中的确切位置,在渲染这些字形的时候根据这些排列规则将他们取出并贴到指定的位置。这种方法相对来说很容易实现。
陶然 · 2024-07-02 22:12 - 从人工到自动化到AIOps再到ChatOps:大模型在运维领域的应用
在信息技术飞速发展的今天,运维工作已经从最初的人工操作,逐步演变为自动化、AIOps和ChatOps。这些变革不仅提升了运维效率,还显著保障了系统的稳定性。特别是借助大模型,运维同学能够更加高效地完成工作,并应对复杂的运维挑战。本文将依次介绍这些概念,并探讨大模型在运维领域的具体应用。
陶然 · 2024-07-02 21:59 - 揭秘字节跳动基于Doris的实时数仓探索
目前,火山引擎 EMR 已经集成了非常多的引擎,例如我们常见的离线分析领域的 Spark、 Hive,实时计算领域的 Flink、Kafka,等等。今天分享的主角就是 OLAP 领域中的 Doris ,我们在产品发布之初就已经集成了 Doris 引擎,它也是目前火山引擎 EMR 系统中的主力 OLAP 引擎之一。
陶然 · 2024-07-01 18:56 - 京东零售的指标中台建设实践分享
本文将分享京东零售在指标中台建设方面的实践经验。京东指标中台依据现代数据栈、Headless BI、数据虚拟化和数据编织等方法论,并结合自身了多运营模式,多运营视角,多数据维度等业务特点,构建了从指标定义到指标生产再到指标消费的全链路解决方案。
陶然 · 2024-07-01 18:44 - 不只是前端,后端、产品和测试也需要了解的浏览器知识
本篇文章主要介绍一下作为研发了解浏览器的必要性, 以及浏览器的基本情况和整体的发展。在考虑产品定位时(开发出一款什么样的目标产品),我们需要对浏览器有一定的了解,整篇文章对研发和产品皆有一定的参考意义。
陶然 · 2024-07-01 18:30 - 金融行业在数仓建设与数据治理的实践
在当今信息爆炸的数字时代,数仓建设与数据治理显得尤为关键。本次分享将为您揭示如何构建一个强大的数据仓库,并进行有效的数据治理。从合理规划数据架构到实施,我们将探讨数据治理过程中的核心原则和优秀实践方案。
陶然 · 2024-06-28 17:08 - 爱奇艺Opal机器学习平台:特征中心建设实践
Opal 是爱奇艺大数据团队研发的一站式机器学习平台,旨在提升特征迭代、模型训练效率,帮助业务提高收益。整个平台覆盖了机器学习生命周期中特征生产、样本构建、模型探索、模型训练、模型部署等在内的多个关键环节。其中特征作为模型训练的基石,其重要性不言而喻,如何让用户借助平台的能力。
陶然 · 2024-06-28 13:11 - AIGC如何在大数据研发治理领域落地?
ChatGPT 掀起了大语言模型的热潮,AIGC与大数据研发治理能碰撞出什么火花?本文来源于大数据研发治理DataLeap基于AIGC的应用实践,将从数据研发和资产的角度介绍,如何运用AIGC能力提升效率,降低使用门槛。
陶然 · 2024-06-28 11:50 - 转转游戏MQ重构:思考与心得之旅
游戏业务自 2017 年启航,至今已近乎走过七个春秋,历经漫长岁月的发展,不知不觉间背负起沉重的历史包袱。犹如一棵大树,既有繁茂精壮的枝桠,亦有诸多枯败凋零的枝叶。此文主要聚焦于商品更新 MQ 消费这一细微模块,详述游戏业务如何对原有代码予以重构,令游戏这棵大树重焕蓬勃生机。
陶然 · 2024-06-27 16:12 - 多臂老虎机在推荐价策略中的应用
货运行业正处于迅猛发展的快车道上,其业务扩张之迅速与市场环境之多变令人瞩目。以货拉拉2023年的招股说明书为例,其年收入增长率达到了28.8%[6],凸显了持续加速的增长态势。另一方面由于市场价格波动大,用车需求非标,很难动态定准价格,议价是市场主流模式。
陶然 · 2024-06-27 14:50 - 吞吐量达4000+TPS!B站交易系统架构演进
会员购是B站2017年推出的IP消费体验服务平台,在售商品以手办、漫画、JK制服等贴合平台生态的商品为主。随着业务发展,会员购从最开始的预售、现货拓展到全款预售、盲盒、众筹等多种售卖方式,销售渠道也遍布QQ小程序、每年几次大促活动的爆发式流量,对于会员购交易系统来说,无疑是一个巨大的挑战。
陶然 · 2024-06-27 09:56 - 从缺陷到创新:质量保障的新视角
最近一段时间研发大佬们在积极的治理告警,经过一段时间的治理,现在告警情况已经有了很大的改观,但难免还有漏网之鱼;具体我们可以以下边一个例子来看:这是一个生产的UMP告警,通过这个告警我们发现XXX这个应用的堆内存使用率为90.18%,超过了设置的告警阈值85%,所以产生了这样的一个告警;那什么是堆内存呢?
陶然 · 2024-06-26 16:52